尖峰神经网络由于其在专门硬件上的高能源效率而在机器人技术中具有巨大的潜在效用,但是概念验证的实现通常尚未通过常规方法实现竞争性能或能力。在本文中,我们通过引入一种新型的模块化整体网络方法来应对可扩展性的关键实践挑战之一,在这种方法中,紧凑的,本地化的尖峰网络每个人都学习,并且仅负责仅在环境的局部地区识别位置。这种模块化方法创建了一个高度可扩展的系统。但是,它带来了高性能的成本,在部署时间缺乏全球正规化会导致过度活跃的神经元,这些神经元错误地对其博学地区以外的地方做出了错误的反应。我们的第二个贡献介绍了一种正则化方法,该方法在初始环境学习阶段检测并消除了这些有问题的多动神经元。我们在基准定位数据集Nordland和Oxford Robotcar上评估了这种新的可扩展模块化系统,并与标准技术Netvlad和SAD进行了比较,以及先前的尖峰神经网络系统。我们的系统在其小数据集上大大优于先前的SNN系统,但在27倍的基准数据集上保持了性能,在该数据集上,以前系统的操作在计算上是不可行的,并且与常规定位系统竞争性能。
translated by 谷歌翻译
许多基本的低级优化问题,例如矩阵完成,相位同步/检索,功率系统状态估计和鲁棒PCA,可以作为矩阵传感问题提出。求解基质传感的两种主要方法是基于半决赛编程(SDP)和Burer-Monteiro(B-M)分解的。 SDP方法患有高计算和空间复杂性,而B-M方法可能由于问题的非跨性别而返回伪造解决方案。这些方法成功的现有理论保证导致了类似的保守条件,这可能错误地表明这些方法具有可比性的性能。在本文中,我们阐明了这两种方法之间的一些主要差异。首先,我们提出一类结构化矩阵完成问题,而B-M方法则以压倒性的概率失败,而SDP方法正常工作。其次,我们确定了B-M方法工作和SDP方法失败的一类高度稀疏矩阵完成问题。第三,我们证明,尽管B-M方法与未知解决方案的等级无关,但SDP方法的成功与解决方案的等级相关,并随着等级的增加而提高。与现有的文献主要集中在SDP和B-M工作的矩阵传感实例上,本文为每种方法的独特优点提供了与替代方法的唯一优点。
translated by 谷歌翻译
在本讨论文件中,我们调查了有关机器学习模型鲁棒性的最新研究。随着学习算法在数据驱动的控制系统中越来越流行,必须确保它们对数据不确定性的稳健性,以维持可靠的安全至关重要的操作。我们首先回顾了这种鲁棒性的共同形式主义,然后继续讨论训练健壮的机器学习模型的流行和最新技术,以及可证明这种鲁棒性的方法。从强大的机器学习的这种统一中,我们识别并讨论了该地区未来研究的迫切方向。
translated by 谷歌翻译
人工神经网络(ANN)训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降(SGD)算法及其变体在某些情况下是有效的,但它们可以陷入杂散的局部最小值,并且对初始化和普通公共表敏感。最近的工作表明,随着Relu激活的ANN的培训可以重新重整为凸面计划,使希望能够全局优化可解释的ANN。然而,天真地解决凸训练制剂具有指数复杂性,甚至近似启发式需要立方时间。在这项工作中,我们描述了这种近似的质量,并开发了两个有效的算法,这些算法通过全球收敛保证培训。第一算法基于乘法器(ADMM)的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛,并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时,每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂,并收敛到大约全球最佳的分类器。当考虑对抗性培训时,ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练,开发凸起的凸起制剂,培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN,但可以扩展到更复杂的体系结构。
translated by 谷歌翻译
现实世界加固学习(RL)问题通常要求代理通过遵守一套设计的约束来安全地安全。通过在模型预测控制(MPC)中,通过耦合具有连续动作的线性设置中的修改策略梯度框架来解决安全RL的挑战。指南通过将安全要求嵌入安全要求作为MPC配方中的机会限制来强制执行系统的安全操作。政策梯度培训步骤然后包括安全罚款,该安全罚款列举了基本政策能够安全行事。我们从理论上显示了这种惩罚允许在训练后删除安全指南,并用模拟器四轮机器使用实验说明我们的方法。
translated by 谷歌翻译